设备的端到端（E2E）模型已显示出对质量和延迟的英语语音搜索任务的常规模型的改进。 E2E模型还显示了多语言自动语音识别（ASR）的有希望的结果。在本文中，我们将以前的容量解决方案扩展到流应用程序，并提出流媒体多语言E2E ASR系统，该系统在设备上完全运行，质量和延迟与单个单语言模型相当。为了实现这一目标，我们提出了一个编码器端量模型和一个终端（EOU）联合层，以提高质量和延迟权衡。我们的系统以语言不可知论的方式构建，允许它实时支持本条件的代码切换。为了解决大型模型的可行性问题，我们进行了设备分析，并用最近开发的嵌入解码器代替了耗时的LSTM解码器。通过这些更改，我们设法在不到实时的时间内在移动设备上运行了这样的系统。

随着机器学习工具的进展，不可避免的问题出现：机器学习如何帮助我们编写更好的代码？随着GPT-3和BERT等模型在自然语言处理中取得的重大进展，开始探索自然语言处理技术在代码中的应用。大多数研究都集中在自动程序维修（APR）上，尽管合成或高度过滤的数据集的结果是有希望的，但由于错误本地化不足，因此很难在现实世界中使用此类模型。我们提出了Bigissue：现实错误本地化的基准。基准的目标是两倍。我们提供（1）具有多种真实和合成的Java错误的一般基准，以及（2）通过关注整个存储库环境来提高模型的错误本地化功能的动机。随着Bigissue的引入，我们希望在错误本地化方面提高最新技术，从而提高APR性能并提高其对现代发展周期的适用性。

在本文中，我们提出了一种真正的群体级对比度视觉表示学习方法，其在Imagenet上的线性评估表现超过了香草的监督学习。两个主流的无监督学习方案是实例级对比框架和基于聚类的方案。前者采用了极为细粒度的实例级别歧视，由于虚假负面因素，其监督信号无法有效。尽管后者解决了这一点，但它们通常会受到影响性能的一些限制。为了整合他们的优势，我们设计了烟雾方法。烟雾遵循对比度学习的框架，但取代了对比度单元，从而模仿了基于聚类的方法。为了实现这一目标，我们提出了同步执行特征分组与表示学习的动量分组方案。通过这种方式，烟雾解决了基于聚类的方法通常面对的监督信号滞后问题，并减少了实例对比方法的错误负面因素。我们进行详尽的实验，以表明烟雾在CNN和变压器骨架上都很好地工作。结果证明，烟雾已经超过了当前的SOTA无监督的表示方法。此外，其线性评估结果超过了通过香草监督学习获得的性能，并且可以很好地转移到下游任务。

潜在空间基于能量的模型（EBM），也称为基于能量的先验，引起了对生成建模的日益兴趣。由于其在潜在空间的配方和强大的建模能力方面的灵活性所推动，最近构建的作品已经进行了有趣的尝试，目的是针对文本建模的解释性。但是，潜在空间EBM还继承了数据空间中EBM的一些缺陷。实践中退化的MCMC抽样质量会导致培训中的发电质量和不稳定差，尤其是在具有复杂潜在结构的数据上。受到最近的努力的启发，该努力利用扩散恢复的可能性学习是解决抽样问题的一种方法，我们在变异学习框架中引入了扩散模型和潜在空间EBM之间的新型共生，这是潜在扩散能量基于能量的模型。我们与信息瓶颈共同开发基于几何聚类的正则化，以进一步提高学到的潜在空间的质量。对几个具有挑战性的任务进行的实验证明了我们模型在可解释的文本建模上的优越性能而不是强大的同行。

密集的视频字幕旨在确定输入视频中感兴趣的事件，并为每个事件生成描述性标题。先前的方法通常遵循两个阶段的生成过程，该过程首先提出了每个事件的段，然后为每个已确定的细分市场提供标题。大规模序列产生预处理的最新进展在统一各种任务的任务制定方面取得了巨大的成功，但是到目前为止，更复杂的任务（例如密集的视频字幕）无法完全利用这种强大的范式。在这项工作中，我们展示了如何将密集视频字幕的两个子任务与一个序列生成任务建模，并同时预测事件和相应的描述。在YouCook2和Vitt上进行的实验表现出令人鼓舞的结果，并表明训练复杂任务的可行性，例如集成到大规模预处理模型中的端到端密集的视频字幕。

我们总结了使用巨大的自动语音识别（ASR）模型的大量努力的结果，该模型使用包含大约一百万小时音频的大型，多样的未标记数据集进行了预训练。我们发现，即使对于拥有数万个小时的标记数据的非常大的任务，预训练，自我培训和扩大模型大小的组合也大大提高了数据效率。特别是，在具有34K小时标记数据的ASR任务上，通过微调80亿个参数预先训练的构象异构体模型，我们可以匹配最先进的（SOTA）性能（SOTA）的性能，只有3％的培训数据和通过完整的训练集可以显着改善SOTA。我们还报告了从使用大型预训练和自我训练的模型来完成一系列下游任务所获得的普遍利益，这些任务涵盖了广泛的语音域，并涵盖了多个数据集大小的大小，包括在许多人中获得SOTA性能公共基准。此外，我们利用预先训练的网络的学会表示，在非ASR任务上实现SOTA结果。

本文采用加强学习技术研究了连续时间线性随机系统的适应性最优固定控制，使用加强学习技术。基于政策迭代，提出了一种新的脱助策略加强学习算法，命名为基于乐观的最小二乘策略迭代，能够直接从输入/状态数据直接找到自适应最佳稳定控制问题的迭代近的最佳策略从初始允许控制策略开始，显式识别任何系统矩阵。通过基于乐观的最小二乘基本的政策迭代给出的解决方案被证明是在温和条件下通过概率1收敛到最佳解决方案的小邻域。所提出的算法在三重倒立摆锤示例中的应用验证了其可行性和有效性。

预测短期交互会话的下一个交互是基于会话的推荐中的一个具有挑战性的任务。几乎所有现有的作品都依赖于项目转换模式，并在建模用户偏好时忽略用户历史会话的影响，这通常会导致非个性化推荐。此外，基于现有的个性化会话的推荐人仅基于当前用户的会话捕获用户首选项，而是忽略来自其他用户的历史会话的有用物品转换模式。为了解决这些问题，我们提出了一种新颖的异构全球图形神经网络（HG-GNN）以以微妙的方式利用所有会话的物品过渡，以便更好地推断用户偏好与当前和历史会话。为了有效利用所有用户的所有会话转换，我们提出了一种新的异构全局图，该图包含会话，用户项交互和全局共同发生项目的项目转换。此外，为了综合地从会话中捕获用户偏好，我们建议通过两个图形增强偏好编码器学习来自全局图的两个用户表示。具体地，我们在异构全球图上设计一种新的异构图形神经网络（HGNN），以了解具有丰富语义的长期用户偏好和项目表示。基于HGNN，我们提出了当前偏好编码器和历史偏好编码器，分别捕获来自当前和历史会话的不同级别的用户偏好。为实现个性化建议，我们将用户当前偏好和历史利益的表示集成到生成最终用户首选项表示。三个真实数据集的广泛实验结果表明，我们的模型优于其他最先进的方法。

图像标题模型通常缺乏考虑用户兴趣的能力，通常默认为试图平衡可读性，信息性和信息过载的全局描述。另一方面，VQA模型通常缺乏提供长描述性答案的能力，同时期望文本问题非常精确。我们介绍一种控制图像标题应该专注于的概念的方法，使用称为指导文本的额外输入，该概念是指图像中的可接近或未放置的概念。我们的模型包括一个基于变换器的多模式编码器，它使用引导文本与全局和对象级别图像功能一起导出用于生成引导标题的早期融合表示。虽然在视觉基因组数据上培训的模型时，在使用自动对象标签的引导时具有适应良好的域的域中优势，但我们发现在概念标题上培训的引导标题模型概括为域外图像和引导文本。我们的人为评估结果表明，尝试野外引导的图像标题需要访问大，不受限制的域训练数据集，并且增加的样式分集（即使不增加唯一令牌的数量）是提高性能的关键因素。

We present the next generation of MobileNets based on a combination of complementary search techniques as well as a novel architecture design. MobileNetV3 is tuned to mobile phone CPUs through a combination of hardwareaware network architecture search (NAS) complemented by the NetAdapt algorithm and then subsequently improved through novel architecture advances. This paper starts the exploration of how automated search algorithms and network design can work together to harness complementary approaches improving the overall state of the art. Through this process we create two new MobileNet models for release: MobileNetV3-Large and MobileNetV3-Small which are targeted for high and low resource use cases. These models are then adapted and applied to the tasks of object detection and semantic segmentation. For the task of semantic segmentation (or any dense pixel prediction), we propose a new efficient segmentation decoder Lite Reduced Atrous Spatial Pyramid Pooling (LR-ASPP). We achieve new state of the art results for mobile classification, detection and segmentation. MobileNetV3-Large is 3.2% more accurate on ImageNet classification while reducing latency by 20% compared to MobileNetV2. MobileNetV3-Small is 6.6% more accurate compared to a MobileNetV2 model with comparable latency. MobileNetV3-Large detection is over 25% faster at roughly the same accuracy as Mo-bileNetV2 on COCO detection. MobileNetV3-Large LR-ASPP is 34% faster than MobileNetV2 R-ASPP at similar accuracy for Cityscapes segmentation.